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Наш протагонист в 2018'04 


11 лет в П 

) 8лет в машинном обучении и работе с данными 
) б лет руководства командами до 25 человек 

у Построил +/- десяток продуктов «с нуля» 


Партнер в консалтинговом бутике 
› Занимался внедрением М!-пайплайнов «под ключ» 


) Что обычно превращалось в наведение порядка в данных 


Получил приглашение в Яндекс.Такси 
) Навести порядок в данных 


=: \ Нівбі садна 
(ні) али 2021 


Типичная дата-инфраструктура выглядит так 
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(ні) а 2021 


Федор Лаврентьев, «Граница между Надоор и МРР», 2019 


раја І аке Яндекс.Такси в 2019'01 


| Проект на ~25 человеко-лет 


) 


~“ м ~ ~ 


В разработке с 2016 года 
Команда ~12 человек 
Около 500 ЕТ -процессов 
Сотни тысяч строк кода 
Несколько типов СУБД 


| Типичная история 


) 
) 


Сначала решали конкретную задачу 


При масштабировании как-то забыли 
переосмыслить архитектуру 


А теперь уже непонятно как 


| Напряженная обстановка 


) 


~“ м ~ ~ 


Постоанно что-то падает 

Но узнают об этом от пользователей 
Которые истерят в чатиках 
Создаются тысячи мелких тикетов 


Все всем недовольны 


| Даваите зто все перепишем 


„ (у Нећ оасн 
(ні) али 2021 


План рефакторинга 


=: \ Нівбі садна 
(ні) али 2021 


Стой падажжи! 


Что происходит на самом деле 


| Сломалось концептуальное понимание 
у Архитектура не выдержала испытания 
› Утрачена видимость целевой картины 


| Бэклог вышел из-под контроля 
› Утеряны фокусы 
) Сломан Нте-ю-таке 


Утерян контроль над кодом 
7 Слишком много независимых процессов 
› Написаны в различных подходах 


Утерян контроль над рантаймом 
) Не все процессы мониторатса 
) Есть системно повторяющиеся баги 


‚ (ка \ Нећ оасн+ 
(ні) али 2021 


Понятно, как это чинить 


Сломалось концептуальное понимание А | Построить целевую платформу 
у Архитектура не выдержала испытания » Придумать целевую архитектуру 
› Утрачена видимость целевой картины ) И план перехода к ней 
› Реализовать «фундамент» платформы 
Бэклог вышел из-под контроля 
) Утеряны фокусы е | Починить рутинную работу подразделения 
) Сломан Нте-ю-таке у Почистить и приоритизировать бэклог 
) Выстроить работу с заказчиками 
Утерян контроль над кодом › Наладить конвейер поставки кода 
у Слишком много независимых процессов з), 
у Написаны в различных подходах | Убрать техдолг из кодовой базы 
) Найти и замониторить все важное 
Утерян контроль над рантаймом ви) › Переписать легаси-процессы 


) Не все процессы мониторятся › Перестать плодить легаси-код 


) Есть системно повторяющиеся баги 


з (пи \ НівНі оаајн 
(ні) Зо 2021 


Понятно, как это чинить 


Сломалось концептуальное понимание 4 | Построить целевую платформу 
у Архитектура не выдержала испытания › Придумать целевую архитектуру 


› Утрачена видимость целевой картины ) И план перехода к ней 
› Реализовать «фундамент» платформы 
Бэклог вышел из-под контроля 


) Утеряны фокусы | Починить рутинную работу подразделения 
) Сломан Нте-ю-таке у Почистить и приоритизировать бэклог 
) Выстроить работу с заказчиками 


Утерян контроль над кодом >, Наладить конвейер поставки кода 
7 Слишком много независимых процессов з), 
› Написаны в различных подходах 


Утерян контроль над рантаймом 
) Не все процессы мониторатса 


) Есть системно повторяющиеся баги 5 
9 НІ НієН! оад++ 


Весна 2021 


Сначала надо понять, куда мы идем и как 


| Сломалось концептуальное понимание 4 
у Архитектура не выдержала испытания 


› Утрачена видимость целевой картины 


| Бэклог вышел из-под контроля 


| Починить рутинную работу подразделения 


› Утеряны фокусы 
) Сломан Нте-ю-таке у Почистить и приоритизировать бэклог 
) Выстроить работу с заказчиками 
| Утерян контроль над кодом › Наладить конвейер поставки кода 


) Найти и замониторить всё важное 


| Утерян контроль над рантаимом 


) Слишком много независимых процессов з) 
у Написаны в различных подходах | Убрать техдолг из кодовой базы 
ви) › Переписать легаси-процессы 


) Не все процессы мониторятся › Перестать плодить легаси-код 


) Есть системно повторяющиеся баги – 
ю (ну) Нієпі оаанн 


Весна 2021 


И еще надо суметь дойти 


Сломалось концептуальное понимание 4 
у Архитектура не выдержала испытания 


› Утрачена видимость целевой картины 


Бэклог вышел из-под контроля 


’ Починить рутинную работу подразделения 


› Утеряны фокусы 

) Сломан Нте-ю-таке у Почистить и приоритизировать бэклог 
) Выстроить работу с заказчиками 

Утерян контроль над кодом >, Наладить конвейер поставки кода 


) Найти и замониторить всё важное 


Утерян контроль над рантаймом 


) Слишком много независимых процессов з) 
у Написаны в различных подходах | Убрать техдолг из кодовой базы 
ви) › Переписать легаси-процессы 


) Не все процессы мониторятся › Перестать плодить легаси-код 


) Есть системно повторяющиеся баги – 
" (ны) Нећпсоасн 


Весна 2021 


Принцип 1 


Знай, куда хочешь прийти 


2 Пи \ Нећ оасјн 
(ні) ЕС 


2019'01: Разделение команды на 


инфраструктуру и продукт 


| Команда развития инфраструктуры 


) 
) 
) 


Разработчики с широким кругозором 
60% от стаффа 
Найм маленький 


| Целеполагание 


) 


) 
) 
) 


Задача - построить новую платформу 

Зто чисто инфраструктурнье инвестиции 
Команда не делает продуктовых задач 

На бэклог влияет только техлид/архитектор 


| Команда развития продукта 


) 


Разработчики, близкие к бизнес-задачам 


) 40% от стаффа на старте, потом растим 


) 


Почти весь найм сюда 


| Целеполагание 


) 


) 
) 
) 


Задача - купировать острье боли бизнеса 
Критичные доработки легаси-кода 

Ошск міп’ы и «репутационные» задачи 
Ничего большого и дорогого 


з (рід Нен саан 
(ні) али 2021 


Принцип 2 


явно отделяй инфраструктуру от продукта 


2019'92: Вдохновляющее многообразие 


проблем с легаси-кодом 


Почему процессы поставки данных падают? 


) 
) 


В источниках данных что-то ломается 


В коде процесса не продуманы краевые 
случаи 


Другой процесс зааффектил изменениями 
Не хватило ресурсов успеть вовремя 


Последствия для бизнеса 


) 


) 
) 
) 


Не приезжают свежие данные 
Данные приезжают не полностью 
Данные начинают расходиться 
Данные теряются 


Почему некоторые процессы падают чаще? 
у Неустойчивая интеграция с источником 


) Большие объемы данных и требования к 
скорости 


) Частые неконтролируемые изменения на 
стороне источника 


) Сложная и недостаточно оттестированная 
бизнес-логика процесса 


у Нетиповые зависимости от других процессов 


Давайте это все перепишем!! 


=: \ Нівбі садна 
(ні) али 2021 


Нельзя просто так взять и переписать 
сотни тысяч кода 


| Экономика переписывания 


) 


Нельзя переписывать все подряд - это 
заблокирует всю команду продукта 


Если ничего не переписывать — команда 
продукта будет свободна 


Но проблемы от легаси-кода стоят денег 


Можно оценить стоимость поддержки и 
оценить целесообразность переписывания 


в (рі Х Нен оаа 
(ні) али 2021 


сотни тысяч кода 


| Экономика переписывания 


› Нельзя переписывать все подряд - это 
заблокирует всю команду продукта 


) Если ничего не переписывать - команда 
продукта будет свободна 


) Но проблемы от легаси-кода стоят денег 


>, Можно оценить стоимость поддержки и 
оценить целесообразность переписывания 


| Начнем считать стоимость инцидентов 


) Обычно процесс фиксации уже есть, 
просто сделаем его более формальным 


» Для каждого процесса будем считать число 
падений и время, затраченное на их 
стабилизацию 


Нельзя просто так взять и переписать 


| Выделим квоты продуктовых команд 


) 
) 


20-40% времени - на техдолг 


Задачи - упрощение логики процессов, их 
декомпозиция, стабилизация работь с 
ИСТОЧНИКОМ 


| Дополнительно введем «дежурство» 


) 


~“ м ~ ~ 


Человек, на 100% времени ответственный за 
стабильность сервиса 


Сам оперативно чинит мелкие баги 
Сложные баги диагностирует и делегирует 
Следит за последствиями релизов 
Дежурят по очереди все разработчики 


7 Пи \ Нећ оасјн 
(ні) али 2021 


Трюк 1 


Выделенная ресурсная квота 


з Си \ Нећ оасјн 
(ні) а 2021 


Трюк 2 


Дежурство 


з (НІЛ НЕН оган 
(ні) али 2021 


Как считать стоимость инцидентов 


| Метаданные процессов 


) 


трекать каждый отдельный запуск каждого 
процесса (через логи, например) 


Присвоим каждому процессу уникальный 10, 
каждому запуску — уникальный гип 0 


| Инструменты дежурного 


) 


На основе логов будем собирать 
информацию о падениях процессов 


Общий дашборд текущего состояния 
Фильтры для отслеживания сбоев в истории 


Кнопочки «Создать тикет», «Перейти к 
тикетам», «Перейти к статистике» и пр. 


| Отчетность по падениям 


) 
) 


Пробросим 10 процесса в таск-трекере 


Сделаем отчет по тикетам, увидим часто 
падающие процессы 


| Расчет стоимости 


) 
) 


Стоимость в рублях считать тяжело 


Легко посчитать стоимость поддержки в 
человеко-часах 


Можно ввести 51 А на аптайм системы 


Для процесса можно отследить месячный 
вклад в стоимость поддержки и пробои [А 


„(ти \ Нећ оасјн 
(ні) Зо 2021 


Принцип 3 


Лечи там, где болит 


я Са \ Нећ оасје 
(ні) ЕС 


Принцип 4 


Знай, где болит 


» (Пау Ніећ оган 
(ні) ЕС 


2019'93-04: Новая платформа оформилась 


Определились с архитектурой 


) 


) 
) 
) 


Стек технологий, используемью СУБД 
Архитектура потоков данных 
Стандарт моделирования данных 
Принципы разграничения доступов 


Закодили новую платформу 


› Единый фреймворк для ЕТ -процессов 


) 


>, Тонны косметической функциональности 


Типовой деплой, запуск и мониторинг 


з (ти у Нівпіована 
(ні) али 2021 


И проблем стало больше 


| Определились с архитектурой 


) 


) 
) 
) 


Стек технологий, используемью СУБД 
Архитектура потоков данных 
Стандарт моделирования данных 
Принципы разграничения доступов 


| Закодили новую платформу 


) 
) 
) 


Единый фреймворк для Е ТЁ-процессов 
Типовой деплой, запуск и мониторинг 


Тонны косметической функциональности 


~“ м ~ ~ 


Как слезать с «лишних» СУБД? 

Что делать со странными потоками данных? 
Кто должен перемоделировать данные? 

Что делать с существующими доступами 


Кто должен переписывать код под новый 
фреймворк? 


Что делать со старым кодом 2 


Как «продать» в продуктовые команды новую 
функциональность? 


„ (рі \ Нећ оасінн 
(ні) Чак 2021 


Прекрасно продумать все заранее 


| Определились с архитектурой 


) 


) 
) 
) 


Стек технологий, используемью СУБД 
Архитектура потоков данных 
Стандарт моделирования данных 
Принципы разграничения доступов 


| Закодили новую платформу 


) Единый фреймворк для ЕТ -процессов 


>, Типовой деплой, запуск и мониторинг 


>, Тонны косметической функциональности 


| Жесткий фокус на целевой архитектуре 


) Все новое делается только в целевой 
архитектуре 


) При доработке легаси «докидываем» в 
задачу перевод в целевую архитектуру 


) Есть регламент, что можно доделывать в 
нецелевой архитектуре 


| Повсеместные режимы совместимости 
) Враппер для старых способов запуска 
) Косметические фичи опциональны 
) Много статических проверок кода 


| Некоторые вещи придется сделать сразу 
>, Типовой деплой, зависимости окружения 


з (ар \ Нећооаан 
(ні) али 2021 


Принцип 5 


Готовься жить в эпоху перемен 


в (ти \ Нин оасн+ 
(ні) ЕС 


2020'91: Код сам себя не рефакторит 


| Регламент про целевую архитектуру сбоит 


у Продуктовые команды привыкли к 
локальным задачам с быстрым результатом 


› Переход из хаоса в формализованную 
систему воспринимается болезненно 


7 Команды регулярно наталкиваются на баги в 
фреймворке и недопродуманные концепции 


>) Некоторые процессы не получается 
перевести на целевую архитектуру 


| Возникает сопротивление 


) Со стороны разработчиков – подрыв устоев 
) Со стороны бизнеса - рост Ите-ю-тагке! 


л (пару Нен оасн 
(ні) али 2021 


Слона нужно есть по частям 


Регламент про целевую архитектуру сбоит | Разбиваем Оаїа (аке на модули 
› Продуктовые команды привыкли к ) Распиливание Оаа аке на модули 
локальным задачам с быстрым результатом аналогично распиливанию монолита на 
) Переход из хаоса в формализованную МИКроварвива 
систему воспринимаетса болезненно ) У каждого модуля свой «стандарт свежести» 
7 Команды регулярно наталкиваются на баги в ) Общее правило - не ухудшай 


Возникает сопротивление 


) 
) 


фреймворке и недопродуманные концепции 


Некоторые процессы не получается 
перевести на целевую архитектуру 


| Дробим большой фронт работ на проекты 
› Проект - вьдели модуль и зарефактори его 


у Для каждой большой фичи – пилотные 
проекты по внедрению 


Со стороны разработчиков — подрыв устоев ) Первый «локальный» пилот делает команда 


Со стороны бизнеса - рост їіте-іо-тагкеї инфраструктуры, второй пилот — команда 
продукта 


) Потом стыдим другие модули за их косность 


в (ти \ Нен сад 
(ні) а 2021 


Трюк 3 


Отдельный проект 


» (пару Нен оаа 
(ні) али 2021 


Принцип 6 


Ешь слона по частям 


о (ти у Нен озан 
(ні) СЕ 202] 


2019'01 м5 2020'01: 
Накопленные изменения 


| Изменения в инфраструктуре 
у Целевая картина появилась и работает 
) Разработчики узко специализированы 
) Растет отдаление от команды продукта 


| Изменения в продукте 


) 


) 
) 
) 


Команда выросла в 2+ раза 

Самое болезненное легаси переписано 
Ошск \мп’ы собраны 

Налажен контакт с бизнес-заказчиками 


з. (Пау Нен осад 
(ні) али 2021 


2019'О1 у$ 2020'01: 
Смена целеполагания 


| Изменения в инфраструктуре | Изменения в продукте 
у Целевая картина появилась и работает ) Команда выросла в 2+ раза 
) Разработчики узко специализированы ) Самое болезненное легаси переписано 
› Растет отдаление от команды продукта ) Оискммп’ы собраны 
) 


Налажен контакт с бизнес-заказчиками 


| Новый фокус | Новые процессы в продуктовой команде 
у Ускорение работы команды продукта ) Переходим на работу большими эпиками 
>, Ускорение внедрения новых фичей ) В большие эпики подмешиваем рефакторинг 


) Активно вовлекаем бизнес-заказчиков в 
приоритизацию 


о (и у Нівбі садна 
(ні) али 2021 


Трюк 4 


Подмешивание 


з (Пагу Нен осад 
(ні) али 2021 


2020'92-...: Разработчики любят рефакторинг. 
Или нет? 


| Рефакторинг становится рутиной 
) Все кейсы изучены и обложены рецептами 
) Задача перестает быть эпичной 
) Люди скучают и хотят в инфраструктуру 
). Появляются намеки на кастовость 


| Учет начинает дорого стоить 
) Счет процессов пошел на тысячи 
) Часть из них еще легаси 
) Много связей между легаси-процессами 


. е НіеНі оасі++ 
(ні) али 2021 


Сдвигаем фокус и переориентируем найм 


| Рефакторинг становится рутиной 


) 


) 
) 
) 


Все кейсы изучены и обложены рецептами 
Задача перестает быть зпичной 

Люди скучают и хотят в инфраструктуру 
Появляются намеки на кастовость 


| Учет начинает дорого стоить 


) 


Счет процессов пошел на тысячи 


) Часть из них еще легаси 


) Много связей между легаси-процессами 


| Увеличиваем разнообразие задач 


) Не позволяем разработчикам надолго 
застрять в рефакторинге 


7 Поощряем запросы бизнеса на технически 
сложные и нетиповые хотелки 


) Нанимаем больше джунов 


) Типовой рефакторинг стал почвой для 
массовых стажировок 


| Вводим метрики техдолга на модуль 
) Соответствие модуля целевой архитектуре 
7 Использование и полезность каждого объекта 
) Статические тесты на качество кода 


5 (Ви \ Нен озан 
(ні) али 2021 


Трюк 5 
Широкий фронт 


в (ти \ Нећ оаан+ 
(ні) али 2021 


Принцип 7 


Не топи людей в рутине 


з Си \ Нећ сасінн 
(ні) ЕС 


Подведем итоги 


· Зен! оаснн 
(ні) Зы 2021 


Итоги 


Принципы 


У ~ ~ ~ ~ ~ 


Знай, куда хочешь прийти 

Явно отделяй инфраструктуру от продукта 
Лечи там, где болит 

Знай, где болит 

Готовься жить в эпоху перемен 

Ешь слона по частям 


Не топи людей в рутине 


Трюки 


) 


~“ м ~ ~ 


Выделенная ресурсная квота 
Дежурство 

Отдельный проект 
Подмешивание 

Широкий фронт 


з (ці \ Нівћ_оасн 
(ні) нені 2021 


Спасибо! 


Федор Лаврентьев, Яндекс Со 


44 ен оаа 
(нь) Ань 2021 


